Gioan Maria Vũ Tất sinh ngày 10 tháng 3 năm 1944 tại làng Bến Thôn, xã Dị Nậu, huyện Thạch Thất, tỉnh Sơn Tây (nay thuộc thành phố Hà Nội), thuộc giáo phận Hưng Hoá.[3] Ông là em trong nội tộc của Giám mục Antôn Vũ Huy Chương.[4]

Từ năm 1955 đến năm 1962, Vũ Tất tu học tại tiểu chủng viện Thánh Giuse ở Sơn Lộc, Sơn Tây. Đến năm 1962 ông là giảng viên của tiểu chủng viện Sơn Lộc cho tới năm 1966. Đầu năm 1966, Vũ Tất về quê ở Thạch Thất lao động, đồng thời ông tham gia hướng dẫn các tu sinh có ý muốn tìm hiểu tu tập. Ông làm các công việc này ở quê nhà cho đến năm 1990. Năm 1977 ông được cử đi học Triết học và Thần học với các Giám mục Giuse Phan Thế Hinh (Giáo phận Hưng Hoá) và Giám mục Phaolô Giuse Phạm Ðình Tụng (Giáo phận Bắc Ninh). Ông theo học 10 năm cho đến năm 1987.[3]